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) SYSTEME D'INSERTION EN TEMPS REEL OU DJFFERE DE PANNEAUX PUBUCITAIRES OU 
I NFORMATIONNELS VIRTUELS DANS DES EMISSIONS TELEVKEES. 

57) Systeme d'insertion en temps reel ou differe de pan- 
rieaux publlcltaires ou Infonmationnels vlrtuels dans des 
emissions televisees. 
II est constrtue de I'intepjatJon: 

. d'un systeme de cameras dotees d'un systeme caracte- 
rtserant mathematjquement les mouvements de la camera 
et I'etat de son optjque, et eventuellement de la distance 
des objets filmes. 

. d'un systeme de contrdle du systeme de camera 
connaissant en temps reel retat de toutes les cameras et 
permettant le calage de celles-ci sur un repere spatial fixe, 
alnsl que le reperage relatif a celukci de chaque panneau 
visible dans leurs champs respectifs, puis de calculer en 
temps reel la position dans leur champs respectifs de tout 
objet caractense dans la phase precedente. 

. d'un systeme d'insertion au vol qui sur la base des ima- 
ges transmise par le systeme de camera, des informations 
centrallsees et/ou cateulees par le systeme de controls, et 
du cahier des charges d'insertion, mserera les panneaux 
virtuels dans les zones de I'image. 

. d'une regie image finale standard permettant la realisa- 
tion en vue de diffusion de revenement televise. 
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La presente invention concerne un systfcme penmettant Pinsertion en temps reel ou differe de 
panneaux publicitaircs ou informationnels virtuels dans des Emissions t£16vis£es, ou la 
presence d'annonceurs publicitaires est frequente (evenements sportifs par exemple). 

Les grands evenements televisuels representent un support publicitaire majeur pour 
5 Pensemble des annonceurs. Sexploitation des espaces publicitaires constitue une des 
retomb^es essentielles pour les proprietaires des droits de diffusion de ces evenements. 
Jusqu'a present, les espaces allou^s sont des espaces physiques (panneaux, ecrans, 
banderoles, etc. ). 

Aujourd'hui le traitement informatique de Pimage permet de « virtualiser » ces panneaux, 
10 c'est a dire d'inserer informatiquement & des endroits determines dans Pimage, tout en 
respectant les mouvements de cameras (travelling, zoom, etc ..), des panneaux publicitaires 
virtuels. 

L*int6r€t d'une telle approche est multiple : 

. il est possible, lors d'une diffusion internationale, de personnaliser la diffusion suivant 
1 5 chaque pays diffuseur et sa legislation. 

. La gestion de Pespace est totalement flexible. II est ainsi possible de multiplier le nombre 
d'annonceurs sur un meme « panneau » en partageant cet espace virtuel. 

• La dynamique des messages elle-meme (et done leur impact publicitaire) peut etre 
grandement am€lioree (couleur, animation, Evolution). 

20 La chaine de production d'un ev^nement televise va de la camera, jusqu'a la station de 
diffusion, en passant par la regie. 

Dans les systemes existant d'insertion de publicite virtuelle, le traitement s'effectue au 
travers de mecanismes algorithm iques de reconnaissance de forme, apres que Pimage ait 6t€ 
saisie par des cameras. Une telle approche necessite des systemes matiriels dedies de 
25 traitement informatique de Pimage (hardware specialise), et des logiciels de reconnaissance 
de forme trfcs sophistiques et gourmand en ressources informatiques. L'efficacit€ de tels 
systemes (ils ne sont pas encore a cette date operationnels en temps reel), comme leur coQt, 
est aujourd'hui victime de leur lourdeur. 

La vraie difficulte de ce type de systeme est done d'effectuer en temps r€t\ et a moindre cout 
30 ces insertions virtuelles de qualite. 

Le systfcme selon Pinvention permet d'apporter une solution ace problfcme. 

L'innovation est ici de remonter vers Pamont de la chaine de production de Pimage, e'est a 
dire jusqu'a la camera. Le systeme selon Pinvention est constitue de plusieurs sous-systemes 
communiquants, s'inserant dans la chaine de production de Pimage. 
35 A -LE SOUS-SYSTEME DE CAMERAS (reference dessin l ): 

• Au lieu de cameras « standards » f le systeme utilise des cameras particulieres dotfes d'un 
systfcme du type « contrdle de mouvements » (en anglais « motion control »). Ce genre de 
systeme permet de caracteriser de manure extremement precise, les mouvements et les 
operations de la dite camera (mouvements, travelling, rotation, zoom, etc ..). Ceci signifie 

40 qu'a chaque instant, P£tat de la camera - e'est a dire sa position dans Pespace, et le 
reglage de son systeme optique - est connu de maniere deterministe et codable 
math^matiquement. Ces cameras peuvent aussi etre dotees de capacites telemetriques. 



2730837 



-2- 

«. Grace k un tel systeme, on petit - k partir du moment ou Ton a « cale » au depart, k la 
manure d'un geometre, chaque camera sur un repere spatial Fixe determine du site de 
I'evenement sportif - connaitre k chaque instant la position dans ou par rapport k Timage 
de ce repere spatial, position qui peut etre caracterisee par des coordonnees spatiales 
5 (X,YZ). Le sous-systeme camera pourra etre utilise directement pour effectuer ce calage. 

♦ De la meme maniere, on est a meme de connaitre k chaque instant la position (et done les 
coordonnees relative dans Timage) de tout objet visible dans le champ de chacune des 
camera dont on aura caracterise au depart les coordonnees spatiales dans ce meme repere. 

. Les objets auxquels nous pensons, sont evidemment les panneaux - oix les emplacements 
10 de panneaux virtuels - dans lesquels I'insertion video devra §tre faite. Ces panneaux 
correspondent done k des espaces, et/ou meme k des objets dont la forme peut etre 
caracterisee par des coordonnees spatiales d'un certain nombre de ses points et d'autres 
quantity mathematiques (longueur, largeur, etc..). 

. La texture de ces objets peut si necessaire etre con$ue pour faciliter le processus 
15 d'insertion video (par exemple, avec des fonds bleu). Mais les panneaux rfels peuvent 
cependant parfaitement contenir des messages propres, sans que cela gene le processus 
d'insertion. 

. Dans ce dernier cas, le contenu reel des panneaux dans les conditions optiques de leur 
calage dans le repere spatial du site peut €tre acquis puis stocks (par exemple au niveau 
20 du « sous-systeme d'insertion »), afin de faciliter le processus d'insertion final. 

B - LE SOUS-SYSTEME DE CONTROLE DES CAMERAS (reference dessin 2) : 
. Les cameras dotees du mecanisme de contrdle de mouvements sont reliees k un 
calculateur exploitant un processus informatique agissant comme le « moniteur » de 
I'ensemble des cameras. II est done k meme k chaque instant de connaitre I'etat de chaque 
25 camera et partant la position de leur reperes spatiaux respectifs dans les images qu'elles 
transmettent, et par-l& meme de tout objet positionne* dans ces repfcres. 
. C'est done grace a ce sous-systeme que d'une part est d'abord effectue le calage des 
cameras et que sont d&erminees les coordonnees des panneaux, et que d' autre part est 
calculee k chaque instant la position des panneaux dans le champ de chaque camera. 

30 C - LE SOUS-SYSTEME D' INSERTION (reference dessin 3): 

. Ce sous-systeme est lui aussi constitue* d'un ou de plusieurs calculateur<s) exploitant un 
processus informatique dont la tache est d'op^rer les insertions en temps reel sur la base, 
d'une part des images transmises par les cameras (au travers si necessaire de la regie 
video), et d'autre part des informations transmises par les sous-systeme de contrdle des 

35 cameras - k savoir les coordonnees dans les images des panneaux k inserer, ainsi que 
d'autres informations (comme I'identite de la camera, noms des objets, etc.), et d'autres 
informations locales. . 
. Ce(s) sous-systeme(s) possede(net) par ailleurs d'autres informations k la fois liees aux 
objets, aux contenus reels de ces objets, aux contenus prevus, aux conditions 

40 d' incrustations, bref toute reformation caracterisant « le cahier des charges » de 
I'exploitation publicitaire de Tevenement (contenu, horaires et frequences, annonceurs, 
etc.). 

. C'est sur la base de ces deux types d' in formations que le(s) sous-systfcme(s) d insertion 
procede(nt) au vol k I' incrustation Finale. Cette incrustation s'effectue de maniere k 
45 respecter tant les deformations geometriques des panneaux dans I' image (perspective par 
exemple) que tout obstacle s'interposant entre la camera et le panneau (par exemple un 
joueur). 
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• II peut y avoir autant de sous-systemes cTinsertion que de territoires de diffusion 
difterents 

D - LA REGIE IMAGE FINALE (reference dessin 4) : 

Que ('insertion soit faite en amont ou en aval de celle-ci, les images sont k la disposition de 
5 la regie image finale, c'est k dire du realisateur qui execute sa tache comme il I'aurait fait k 
partir d* images produites par un systeme standard. Le phenomene d* incrustation est done 
transparent aux yeux du realisateur. 

Remarque 1 : Le systeme tel qu'il est decrit ci-dessus permet d'effectuer les insertions 
publicitaires en amont de toute operation de diffusion. II peut cependant parfaitement €tre re- 
10 architecture pour permettre k un ou plusieurs diffuseurs nationaux d'effectuer eux memes en 
local leurs propres incrustations avant d'operer la diffusion des images finales sur leur 
propre territoire. Dans ce cas, le systeme fonctionne de la maniere suivante : 
. le sous-systeme camera fonctionne de la meme maniere que precedemment, le sous- 
systeme de controle consolide les informations provenant du sous-systeme camera, 
15 .les images plus les dites informations sont transmises par des systemes de 
telecommunication (par exemple satellitaires).et distribuees vers les stations receptrices 
de chaque diffuseur national, Celui-ci dispose alors de toutes les informations necessaires, 
et les transmet k son propre sous-systeme d'insertion qui t sur la base de son propre 
« cahier des charges », operera ses propres insertions au vol, 
20 * Et pourra ensuite confier ses images k sa propre realisation avant de les diffuser sur son 
territoire. 

Remarque 2 : Les deux processus informatiques de controle des cameras et d'insertion au 
vol peuvent etre exploited par le meme calculateur. 

Tel qu'il est decrit, le systeme propose permet done d'effectuer en temps reel de maniere 
25 efficace et economique : 

• I' identification des panneaux 

• leur sui vi dans T image de chaque camera 

• Pinsertion du panneaux virtuels en respectant les obstacles eventuels 
Les dessins annexes illustrent Tinvention. 

30 La planche 1/3 illustre k litre d'exemple le fonctionnement du systeme propose dans le cas 
ou la regie video est situee en aval du sous-systeme d'insertion. 

La planche 2/3 illustre k titre d'exemple le fonctionnement du systeme propose dans le cas 
ou la regie video est situee en amont du sous-systeme d'insertion 

La planche 3/3 illustre k titre d'exemple le fonctionnement du systeme propose dans le cas 
35 ou le(s) sous-systeme(s) d'insertion est(sont) distant(s). 
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REVENDICATIONS 

1. Systeme d'insertion en temps reel de panneaux publicitaires ou informationnels virtuels 
dans des images d'ev6nements televisuels caracterise en ce qu'il consiste en I' integration: 

(a) d'un sous-systeme de cameras (1) chacune dotee du systeme dit de controle de 
mouvement permettant de caracteriser mathematiquement les mouvements de la camera 

5 ainsi que 1'etat de son optique (l'6tat de la camera), voire la distance des objets 

(telemetrie). . 

(b) d'un sous-systeme calculates (2) exploitant un processus informatique de controle du 
sous-systeme de cameras ayant a connaitre en temps reel de I'etat de chaque camera et 
permettant dans un premier temps le calage de chaque camera sur un repere spatial fixe. 

1 0 ainsi que la caracterisation spatiale par rapport a ce repere de chaque panneau visible dans 
le champs de chaque camera, et dans un deuxieme temps de pouvoir calculer en temps 
reel la position dans I' image de chaque camera - quel que soil son etat - de tout objet qui 
aurait ete caractense dans la phase precedente. 

(c) d'un (ou de plusieurs) sous-systeme(s) calculates (3) exploitant un processus 
15 informatique dit d'insertion au vol qui, sur la base des images transmise par le sous- 
systeme de camera, des informations centralisees et/ou calculees par le sous-systeme de 
controle, et du cahier des charges publicitaire resultant du contrat entre le 
proprietaire/diffuseur des images et les annonceurs, insere(nt) les panneaux virtuels 
prevus dans les zones de I'image correspondant aux panneaux de support publicitaires. 

20 (d) d'une regie image finale standard permettant la realisation en vue de diffusion. 

2 - Systeme selon la revendication 1 caracterise en ce que le sous-systeme de cameras est en 
permanence sous le contrfile du sous-systeme de contrdle des cameras auquel ll est 
connecte. 

3 -Systeme selon la revendication I et 2 caracterise en ce que le(s) sous-systeme(s) 
25 d'insertion au vol est(sont) en permanence connecte(s) au sous-systeme de camera qui 
lui(leur) transmet les images (eventuellement via la regie video), ainsi qu'au sous systeme 
de controle qui lui(leur) transmet les informations spatiales necessaires aux operations 
d'insertion. 

4 - Systeme selon les revendications precedentes caracterise en ce que le(s) sous-systeme(s) 
30 d' insertion au vol est(sont) connecte(s) en permanence a la regie image finale. 

5 - Systeme selon I'une quelconque des revendications precedentes, caracterise en ce que 

le(s) sous-systeme(s) d'insertion au vol peu(ven)t etre en un(des) lieu(x) distant(s) des 
sous-systemes cameras, controle et regie finale, et a qui les informations temps rfcl 
necessaires sont envoyees par des moyens de telecommunication, en vue d'effectuer les 
35 insertions sur la base de cahier des charges propres, avant diffusion des images sur ce(s) 
territoire(s) distant(s). 

6 -Systeme selon I'une quelconque des revendication precedentes caractense en ce que le 

couple sous-systeme d'insertion au vol/regie image peut etre reproduit a I'identique 
architecture dans des lieux ou territoires de diffusion differents sur lesquels seraient 
40 effectuees la realisation finale ainsi que les insertions sur la base de cahier des charges 
propres avant diffusion des images. 
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